Efficient RLVR Scheduling via Graph-Structured Online Difficulty Estimation
基于图结构在线难度估计的高效RLVR调度
🧭 RLVR 自适应样本调度
PDL Lab, College of Computer Science and Technology, National University of Defense Technology
提出图结构化在线难度估计器，共享相邻样本rollout反馈以缓解冷启动与滞后
📌 工作参考价值（4 点）
- 推荐系统冷启动与稀疏反馈：借鉴图结构上共享反馈的思路，对冷门 item/user 通过语义或行为相似图传播邻居的交互信号，缓解新 item 无曝光或曝光少的估计偏差，类似 GraphSAGE/标签传播，但这里用在线变分状态估计更平滑。
- Agent 任务调度中的预算分配：在 multi-agent 或工具调用场景，可按任务难度与相关性构建任务图，用 Beta-Binomial 聚合同一难度状态的任务执行结果，动态决定给哪些任务更多推理步数或工具预算，避免统一预算浪费在简单任务上。
- 训练样本重要性采样：电商搜索/推荐模型训练时，可以利用模型当前 loss/奖励作为反馈，通过图传播估计样本难度或信息量，对高难度但可学习样本提高采样权重或增强次数，对简单样本降权，提升样本效率。
- 在线均值场变分可复用于实时点击率预估中的 item/user 状态更新：将曝光/点击反馈按状态聚合，用先验鼓励相似 item 同状态，在线更新难度或价值估计，适合流式场景无批量重训练。